Generate to Explore, Select to Exploit: Aligning LLM-based Headline Generation with Personalized Recommendation
生成探索、选择利用：对齐 LLM 标题生成与个性化推荐
🧭 生成式推荐 · 个性化标题生成 ★ 深度解读
Baidu Inc., Beijing, China
用 GSPO 训练 LLM 一次生成多样标题候选，再由实时反馈选择器做个性化利用，CTR 提升 2.57%
📌 工作参考价值（4 点）
- 把“生成”与“选择”解耦：不要让 LLM 做最终排序，而是让它生成 5-10 条语义多样的候选标题/文案；再用轻量实时 ranker 根据用户即时行为、兴趣标签、上下文选择最优。这种架构能有效对抗用户画像噪声与 LLM 模式坍塌，电商标题、广告文案、push 文案均可复用。
- 用 GSPO 组内相对优势替代 DPO/PPO 的绝对奖励：组内归一化迫使候选差异化，避免生成重复安全文案；同时可让 LLM 单次推理生成整个候选集，显著降低推理成本。若在业务中做生成式推荐，可优先考虑组内对比训练，而非简单 SFT 或逐样本 RLHF。
- 分层奖励设计：把 CTR 预测、faithfulness（质量模型/NLI）、novelty（编辑距离）、set diversity（IoU）拆开加权。质量护栏防止 reward hacking 生成 clickbait；电商内容信任度要求高，这点尤其关键，建议显式加入事实一致性与安全约束。
- 在线冷启动用 Confidence-Aware Thompson Sampling + 统计终止：给新候选 Beta 先验，只有在小样本或高置信时才继续探索，并设置 τ_max 安全预算；成熟后切到深度 ranker 融合用户画像、实时兴趣标签和语义嵌入，兼顾探索效率与长期收益。